“智能光子应用技术”专栏 | MDPI Sensors：用于人体三维测量的飞行时间相机计量特性的实验程序

点击左上角“MDPI工程科学”关注我们，为您推送更多最新资讯。

引言✦

多年来，三维相机作为测量系统在各种应用中得到了广泛应用。所开发的技术包括结构光、立体技术和飞行时间技术。飞行时间 (ToF) 相机是一种光学设备，它根据光源发射与反射之间的经过时间计算来测量物体与传感器的距离。然而，从这些设备中获得的深度图像会受到伪影的影响。由于作业距离大，反射率低，这一问题影响了ToF技术。此外，由非谐波信号和过度曝光还会引起偏置和其他系统误差。目标的颜色特性和材料反射率等，也是造成深度误差的外部误差源，深度误差随距离线性增加。其他常见的误差还包括飞行像素误差 (深度数据中出现的接近边缘不连续的错误深度估计) 和多路径误差。

目前尚无标准的实验程序来确定该技术的典型误差来源 (即温度影响和深度相关误差)。其次，很少有文献将消费端ToF相机与工业相机进行比较，这种比较可以为特定任务选择合适的设备以提供帮助。

本篇发表在Sensors 上的研究文章，详细介绍了在设计涉及飞行时间技术的应用程序时应考虑的飞行时间相机误差源的实验程序，例如偏差校正和温度对点云稳定性的影响。在一组实验中比较了两种工业Basler ToF相机与新型Kinect Azure的性能和计量特性。此外，还比较了这些设备在3D重建任务中的应用，包括测量物体和人体上半身形状的人体模型。实验突出表明，一些设备在重建目标物体方面表现出明显的困难，因此证明了在选择合适的设备时，执行类似于本文中提出的严格评估程序总是必要的。

 研究内容 

文章设计实验考察了对温度相关误差的评估，应用偏差校正得到了时间间隔为5分钟的三个ToF相机获得的深度测量结果，如图1所示。

图1. 时间间隔为5分钟的三个ToF相机获得的深度测量结果及温度相关误差。

在实验中，Kinect Azure从一开始就获得了稳定的值，而无需预热时间。Basler Blaze 101和Basler ToF 640摄像机都需要至少50分钟的预热时间。Basler Blaze 101和Basler ToF 640的偏差随着时间的推移而减少，但对于Kinect Azure，它显示的是与设备温度无关的稳定偏差值。这种不同行为的原因可能是工业相机的设计考虑了它们可能部署的不利环境。

为了评估每个传感器的深度振幅误差，文章分析了捕获的红外图像的质量和相应的深度图。深度精度与每个像素接收到的光量有关，因为曝光不足和曝光过度的像素都会导致深度误差。在Kinect Azure中，1.7 m处的深度振幅误差主要集中在±5 mm左右。在以深度图中心像素为中心的40 mm × 40 mm的区域Kinect Azure的误差范围为2 ~ 5 mm，Basler Blaze 101的误差范围为3 ~ 7 mm, Basler ToF 640的范围−10 ~ −6 mm。而深度失真误差通常随着距离的增加而增加。Kinect Azure的深度失真范围从−18 mm到10 mm，分别对应于2.7 m和3.3 m的标称距离。Basler Blaze 101的深度失真具有几乎恒定的行为，跨度从−11 mm到9 mm，分别对应于1.7 m和4.5 m的标称距离。然而，对于Basler ToF 640，失真误差是明显的，距离范围为−48 mm ~ 76 mm，分别对应1.7 m和4.5 m的标称距离。至于时间误差，文章指出是指由于测量噪声引起的深度值波动。Basler ToF 640相机的标准偏差有时非常高 (𝜇_𝑚 = 3429 mm时𝜎_𝑚 = 3.75 mm) 或非常低 (𝜇_𝑚 = 1786 mm时𝜎_𝑚 = 0.61 mm)。Kinect Azure的标准偏差值略高，在0.81 mm和3.19 mm之间，而Basler Blaze 101的标准偏差值在0.52 mm和2.99 mm之间。

图2. 提出的ToF相机评价方案的汇总。

由于误差源的计量特性可能不足以确定目标应用的正确设备，因此本文还提出了使用相机进行3D重建的示例。第一个实验涉及一个圆柱形物体，目的是在不同高度和距离相机的点云上正确估计其直径。然而，从这个测试中，两个工业相机的点云导致噪音太大，无法接受评估。这可能是因为它们最适合于距离光源较近的规则形状的物体。值得一提的是，仅从误差源表征不可能预测这种不一致的行为，因此需要一个标准的实验程序来评估ToF相机的3D重建能力。第二个实验旨在评估相机重建人体的能力。这对于医疗保健应用程序以及工业工作空间中的人类活动监控和安全是有用的。目标对象是一个具有活动手臂的人体模型，代表人体上半身，以模拟各种人体姿势。每个相机的重建结果与Kinect v2和柯尼卡美能达工业数字化仪 (金标准) 进行比较。总结来看，除了一些遮挡干扰测量的棘手姿势，Kinect Azure和Basler Blaze 101的性能通常与参考值相当。两者之间的差异可能是由于相机开发针对的典型应用是有区别的。

图3. 通过与相关文献和相机数据表的比较，对实验产生的误差源影响的汇总。

 研究总结 

在本文中，研究者介绍了一个实验程序，以评估ToF相机的计量特性相对于该技术的典型误差源。这个过程是在一个消费者端设备 (Kinect Azure) 和两个工业设备 (Basler Blaze 101和Basler ToF 640) 上进行的。在不同的实验中，研究者对温度对深度测量的影响、深度失真、深度振幅误差、时间误差和整体深度测量不确定度等误差来源进行了评估，如图2与图3所示。

通过所提出的使用相机进行3D重建的示例可以得到工业相机在较小的物体上表现最好，并且具有更高的点云密度，以便在受控环境中更好地重建表面缺陷，而消费端相机通常用于具有各种环境条件的非结构化环境，以重建较大的物体和身体的结论。而比较这些设备在3D重建任务中的应用，包括测量物体和人体上半身形状的人体模型，突出表明了尽管使用了先前进行的计量表征结果，但是一些设备在重建目标物体方面仍表现出明显的困难。因此，研究证明了在选择合适的设备时，执行类似于本文中提出的严格评估程序总是必要的。

识别二维码

阅读英文原文

原文出自Sensors 期刊：

Pasinetti, S.; Nuzzi, C.; Luchetti, A.; Zanetti, M.; Lancini, M.; De Cecco, M. Experimental Procedure for the Metrological Characterization of Time-of-Flight Cameras for Human Body 3D Measurements. Sensors 2023, 23, 538.

撰稿人：岳洋

 专栏简介 

“智能光子应用技术”专栏由Sensors 期刊编委岳洋教授 (西安交通大学) 主持，专注于光通信、光感知、光芯片等智能光子学领域的前沿进展与创新应用。

 专栏编辑

岳洋 教授

西安交通大学

(上下滑动查看更多内容)

西安交通大学信息与通信工程学院教授、博士生导师，SPIE会士、IEEE/Optica高级会员、智能光子应用技术实验室 (iPatLab) 创始人及现任PI。致力于光通信、光感知、光芯片等智能光子学领域的基础及应用研究。已发表论文240余篇 (包括Science)，特邀论文10余篇，申请及授权专利60余项 (包括美国专利25项、欧洲专利9项，已授权30余项)，编著英文书5部，英文书章节2章，Google学术引用10,000余次，获邀报告200余次 (包括1次Tutorial，30余次Plenary和50余次Keynote)。现任IEEE Access、Frontiers in Physics副主编，Sensors 等4个学术期刊编委，J. Lightw. Technol. 等特刊客座编辑10余次，国际会议主席、技术委员会委员100余次，70余学术期刊审稿人。

精选视频

往期回顾

版权声明：

*本文内容由Sensors 期刊编委岳洋教授撰写，文中涉及到的论文翻译部分，为译者在个人理解之上的概述与转达，论文详情及准确信息请参考英文原文。本文遵守 CC BY 4.0 许可 (https://creativecommons.org/licenses/by/4.0/)。如需转载，请于公众号后台留言咨询。

由于微信订阅号推送规则更新，建议您将“MDPI工程科学”设为星标，便可在消息栏中便捷地找到我们，及时了解最新开放出版动态资讯！

点击左下方“阅读原文”，免费阅读英文原文。

期待您的“三连击”☞【分享，点赞，转发】